Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation
解耦语义与逻辑:一种面向视频RAG的免训练由粗到精流水线
🧭 视频RAG · 免训练粗精检索与生成
Huazhong University of Science and Technology
提出免训练两阶段Video RAG方案:粗召回用纯视觉/文本摘要避免噪声模态,细粒度推理过滤用LLM实现逻辑对齐与persona遵守
📌 工作参考价值(5 点)
- 面向电商/Agent/生成式推荐从业者,可借鉴的工程化落地点:
- 两阶段解耦范式:将检索拆分为语义召回与逻辑重排序,召回时主动隔离ASR/OCR等噪声模态(仅用视觉摘要和全局文本),保持向量空间纯净,避免低质量信号污染;在推理阶段再引入全模态,适合多模态内容理解时对抗噪声。
- LLM作为自适应过滤Agent:用商业LLM实现迭代推理式重排序,显式检查候选项与用户persona的逻辑一致性,可迁移到对话式推荐或query改写中,用于剪枝语义相似但意图不符的候选item/query。
- Prompt Sculpting强约束生成:通过prompt工程迫使生成器输出结构化JSON并带精确来源引用,保证可追溯性;在电商场景中可用于从多源视频/直播/评论中生成规范化的商品摘要或问答,降低幻觉。
- 全免训练方案:不依赖标注数据进行微调,适合快速业务验证和资源受限环境,可直接复用现有视觉/文本编码器和LLM。